Cá nhám voi phân bố ở các đại dương thuộc vùng nhiệt đới và ôn đới ấm của thế giới. Được coi là sống ngoài đại dương nhưng chúng cũng tụ tập lại theo mùa ở một vài khu vực ven bờ như dải đá ngầm Ningaloo ở khu vực miền tây Úc cũng như Pemba và Zanzibar ở khu vực ven bờ đại dương của Đông Phi. Khu vực phân bố của chúng giới hạn trong khoảng vĩ độ ±30 ° tính từ các khu vực này. Cá nhám voi chủ yếu sống cô độc và ít khi thấy chúng bơi thành đàn. Người ta tin rằng chúng sống di trú, nhưng các chuyên gia vẫn không rõ chúng có thể di cư xa bao nhiêu (có thể là di trú xuyên đại dương).

Tập tính tụ tập kiếm ăn theo mùa diễn ra tại một số địa điểm ven biển như Vịnh Ba Tư và Vịnh Oman, rạn san hô Ningaloo ở Tây Úc, Đảo Darwin thuộc Galápagos, Quintana Roo ở Mexico, vùng Inhambane ở Mozambique, Philippines, Mahe ở Seychelles,[17] hai bờ biển Gujarat[17] và Kerala của Ấn Độ,[18][19] Đài Loan, Hoa Nam[17] và Qatar.[20]

Vào năm 2011, hơn 400 con cá nhám voi đã tụ tập ngoài khơi bờ biển Yucatán. Đây là một trong những cuộc tập trung lớn nhất từng được ghi nhận trong lịch sử loài này.[21]